How to Train a Critic Stably and Efficiently
如何稳定且高效地训练 Critic
🧭 LLM RL 的 Critic 稳定训练 ★ 深度解读
National University of Singapore · Tencent Hunyuan
BPCO 通过值域约束、MC 目标、去标准化等配方稳定单 rollout critic，性能匹配或超过 group 基线
📌 工作参考价值（4 点）
- 若在电商/广告场景用 RL 微调 LLM 生成推荐文案、搜索 query 或导购对话策略，可改用单 rollout critic 替代 GRPO 多采样，节省采样成本；并采用 BPCO 的 bounded value head（arctan 映射到 reward 范围）和 MC value target（λ_V=1），这是稳定性最核心的两项改动。
- 当 reward 由规则、评分 rubric 或成交标签产生时，让训练期 critic 额外接收这些 reward-defining 信息（如真实成交额、评分细则），policy 仅使用用户上下文和生成前缀。这样线上推理不增加任何输入，但 critic 拟合更快；小数据量时需注意过拟合。
- 直接移除 advantage batch normalization，使用 raw GAE advantage 更新 policy；实现成本极低，能避免策略收敛后更新不衰减、噪声被放大导致过拟合。
- 若生成序列长度差异大（比如长推荐理由 vs 短 query 改写），将 policy 端 GAE 改为 length-adaptive λπ(L)=1-1/(αL)，α 取 0.4 左右；critic 端保持 λ_V=1 做无偏回归，可稳定长序列上的 credit assignment。